Joe Hisaishi sinh ra và lớn lên ở Nakano, Nagano, Nhật Bản. Khi mới lên 5, ông đã được học violin và phát hiện ra niềm đam mê của mình đối với âm nhạc. Năm 1969 ông vào học trường cao đẳng âm nhạc Kunitachi ngành sáng tác. Ông bắt đầu cộng tác với một số nghệ sĩ nhạc chủ nghĩa tối giản làm công việc ghi chép nhạc, công việc đã góp một phần không nhỏ đến sáng tác của Joe sau này.

Thành công đầu tiên của ông là vào năm 1974 khi ông viết nhạc cho một bộ phim hoạt hình ngắn có tên là Gyatoruzu. Nhưng lúc đó ông vẫn để tên thật của mình cùng với những bản nhạc. Trong thời kỳ này, ông còn sáng tác nhạc cho Sasuga no Sarutobi (Academy of Ninja) và Futari Taka (A Full Throttle).

Những năm 1970 là giai đoạn các tác phẩm nhạc hiện đại Nhật Bản, new-age, nhạc khí điện tử bắt đầu tràn lan trên đất nước mặt trời mọc. Tất cả những thể loại nhạc này, cũng như là nhạc của Yellow Magic Orchestra (một nhóm nhạc điện tử của Nhât khá nổi trong khoảng thời gian từ 1978–1983), đã làm ảnh hưởng tới sáng tác của Joe Hisaishi. Ông phát triển âm nhạc của mình từ những ý tưởng trong nhạc minimalist nhưng hướng chúng trở thành tác phẩm giao hưởng. Trong năm 1975, Hisaishi đã có buổi diễn trước công chúng lần đầu. Album đầu tay của ông, MKWAJU, được phát hành năm 1981, một năm sau đó tiếp tục tung ra Information.

Khi bắt đầu nổi tiếng, ông lấy cho mình một bí danh xuất phát từ nhà soạn nhạc người Mỹ gốc Phi tên là Quincy Jones, phiên âm sang tiếng Nhật trở thành Joe Hisaishi ("Quincy" phát âm trong tiếng Nhật là "Kuishi, nhưng có thể viết dưới hệ thống chữ kanji là "Hisaishi", còn "Joe" phiên âm từ "Jones")

Năm 1983, với tên mới của mình, Hisaishi được giời thiệu đến một công ty thu âm cho nhạc phim Nausicaä of the Valley of the Wind. Hisaishi cùng với đạo diễn của bộ phim này - Hayao Miyazaki - đã trở thành những người bạn rất thân thiết và họ đã cùng làm việc với nhau trong rất nhiều dự án sau đó. Sự thành công to lớn này đã đưa tên tuổi Joe đến khắp nơi với vai trò một người viết nhạc fim xuất sắc. Năm 1986, ông tiếp tục viết cho Laputa Castle in the Sky, rồi sau đó, vào những năm 1990, Princess Mononoke và Spirited Away tiếp tục được phát hành.

Là một trong những nhà soạn nhạc có cống hiến lớn nhất cho các bộ phim hoạt hình, Hisaishi không ngừng nỗ lực viết nhạc trong những năm 80 và 90. Hisaishi còn sáng tác nhạc cho những bộ phim xếp hàng top hits như Sasuga no Sarutobi, Two Down Full Base (1982), Sasrygar (1983), Futari Taka (1984) và Honō no Alpen Rose (1985). Ông cũng viết nhạc cho thể loại fim phiêu lưu viễn tưởng Mospeada (1983). Ngoài ra còn có fim Arion, Totoro (1988), Venus Wars, Kiki's Delivery Service (1989), và Porco Rosso (1992).

Cùng với sự kết hợp âm nhạc trong ngành công nghiệp phim hoạt hình, Joe tiếp tục sự nghiệp của mình với vai trò một nhà sản xuất nhạc, một nghệ sĩ biểu diễn tài năng và làm chủ một công ty riêng của mình với cái tên Wonder Land Inc. Một năm sau, công ty cho phát hành album đầu tiên, Pretender ở Thành phố New York.

Sau tất cả những thành quả đạt được trong từng ấy năm, Joe Hisaishi đã giành được giải thưởng âm nhạc xuất sắc nhất của viện hàn lâm Nhật Bản 6 lần: năm 1992, 1993, 1994, 1999, 2000 và mới nhất là năm 2009. Ông cũng nhận được giải Newcomer Award lần thứ 48 của Bộ giáo dục cùng nhiều giải thưởng khác, trở thành một nhân vật tiêu biểu của ngành công nghiệp điện ảnh Nhật.

Năm 1998, ông viết nhạc cho Thế vận hội Mùa đông 1998 (tổ chức ở Nagano, Nhật Bản). Năm sau đó, ông viết nhạc cho tập 3 của một series phim hoạt hình giáo dục về loài người.

Năm 2001, Hisaishi sản xuất nhạc cho film của Kitano Takeshi, Brother, và tác phẩm kinh điển của Miyazaki Hayao, Vùng đất linh hồn. Ông cũng viết bản giao hưởng 4 chương Night Fantasia trong hội chợ Expo Nhật Bản ở Fukushima năm 2001. Vào ngày 6 tháng 10, Hisaishi góp mặt trong bộ phim Quartet, trong đó, nhân vật của ông là một nhà làm fim, vừa viết nhạc vừa viết kịch bản. Bộ phim đã nhận được rất nhiều khen ngợi tại liên hoan phim Montreal. Và trong cùng năm ấy, Joe cũng đã viết bản nhạc đầu tiên dành cho một bộ phim nước ngoài tên là Le Petit Poucet.

Một bộ phim nữa của Miyazaki mà Joe cũng viết nhạc, đó là Howl's moving castle, được phát hành ngày 20 tháng 11 năm 2004 ở Nhật. Từ mùng 3 tháng 11 đến 29 tháng 11 năm 2004, Joe bắt đầu chuyến lưu diễn "Joe Hisaishi Freedom – Piano Stories 2004" cùng các nhạc công người Canada. Năm 2005, ông viết nhạc cho một bộ phim Hàn Quốc Welcome to Dongmakgol (웰컴 투 동막골). Ông còn tới những địa danh lịch sử ở Hàn Quốc, nơi mà các trường quay được dựng để viết nhạc cho bộ phim truyền hình The Legend (태왕사신기 "The Story of the First King's Four Gods") của đài MBC, chiếu trên màn ảnh năm 2007. Cũng từ đó, Hisaishi có một lượng lớn fan hâm mộ ở Hàn Quốc, và các bộ phim của Miyazaki cũng trở nên nổi tiếng.

Năm 2006, Hisaishi phát hành album Asian X.T.C, bao gồm những tác phẩm nhạc khí đương đại phương Đông. Nghệ sĩ chơi đàn erhu trong ban nhạc 12 Girls Band của Trung Quốc - Zhan Li Jun đã biểu diễn trong buổi hòa nhạc giới thiệu cho album này. Năm sau đó, ông lại sáng tác nhạc cho bộ phim của Frederic Lepage, Sunny and the Elephant và bộ phim mới nhất của Miyazaki, Ponyo on the Cliff by the Sea, cả hai bộ fim đều được công chiếu năm 2008. Ngoài ra còn có một bộ phim nữa của Khương Văn (Trung Quốc) tên là Mặt Trời vẫn mọc.

Năm 2008, Joe viết nhạc cho bộ phim được giải của viện hàn lâm tên là Departures và I'd rather be a Shellfish (私は貝になりたい, Watashi wa Kai ni Naritai), một bộ phim tái hiện những tội ác trong Thế chiến thứ 2, dựa trên cuốn tiểu thuyết viết năm 1959 của nhà văn Kato Tetsutaro. Bộ phim do đạo diễn Fukuzawa Katsuo dựng lại, cùng các diễn viên chính là Nakai Masahiro và Nakama Yukie.

Tháng 11 năm 2009, Joe Hisaishi được nhận Huân chương danh giá màu tím (dành cho những người có cống hiến lớn trong nghệ thuật của hoàng gia) do chính phủ Nhật Bản trao tặng để ghi nhận những đóng góp của ông.